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GUIDAGE DE ROBOT PAR ECUVIRAGE ACTIF. 

feT) Le proc^dd de positlonnement du robot (1) muni d'un 
^teur d'Image (2) est realis6 ^ partir de la projection d'un 
motif lumineux sur la scdne (4), projection (5) dont la fomie 
est fonctlon de ta position du roiX)t. 

L'asservissement se fait par companaison de la fomne de 
ce motif de Timage courante a la fomfie finale du motif de 
I'image de r6f§rence correspondamt i la position recher- 
ch6e, par I'intemnddiaire d'un r6seau de neurones recevant 
en entries des infomnations relatives k ta fomne projet6e du 
motif. Ces Informations sont des coordonn6es, des des- 
crlpteurs de Fourier ou des moments g6om6triques. 

Les applications concement la robotique mobile telle que 
la conduite d'engins ou robotique industrielle. 
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GUiDAGE DE ROBOT PAR ECLAIRAGE ACTIF 

La presents invention conceme un precede de positionnement 
d'un robot dans Tespace a trois dinnensions, ou 3D, et un robot evoiuant 
dans un tel espace. 

Le domaine technique dans lequel s'inscrit rinvention est celui 
de ia "commande referencee capteur' dun robot dont une application 
possible est la commande par asservissement du robot par rapport a un 
objet ou une scene donnee. 

La "commande referencee capteur" est une approche nouvelle 
et originale pour la commande de robot : classiquement le depiacement 
d'un robot se fait par renvoi de commandes qui indiquent, pour le 
mouvement desire, les valeurs angulaires des rotations a appiiquer 
separement a chaque axe du robot (ces commandes sont generalement 
exprimees soit dcuis un repere cartesien, soit en coordonnees angulaires). 

Pour amener avec une t>onne precision Forgane temiinal d'un 
robot a une position detenminee, une telle approche necessite la 
connaissance geometrique exacte du modele du robot et des calcuis longs 
et complexes pour convertir dans I'espace cartesien, des mouvements 
definis dans Tespace articulaire. Par ailleurs, une telle approche ne prend 
absolument pas en compte les variations possibles de renvironnement et 
est done depourvue de toute adaptabilite. 

L'approche proposee par la "commande referencee capteur^ est 
la suivante : le but a atteindre par le robot est specifie en termes de 
signaux devant etre obsen^es par des capteurs montes sur le robot, au lieu 
de mouvements a effectuer pour atteindre ce but 

Dans le cas d'une "commande referencee image", une camera 
est fixee sur le robot et obsen/e la scene qui se trouve devant le rotx>L 
L'image delivree par la camera varie done selon la position du robot La 
tache d'asservissement du robot est specifiee non pas en envoyant 
directement une commande de positionnement geometrique au robot, mais 
en donnant une image de reference de ce qui doit etre observe par la 
camera lorsque la position finale est atteinte. 

Un module de "commande referencee capteur** caicuie 
automatiquement les bons mouvem^ts a appiiquer au rotxjt, a partir de la 
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difference observee entre une image reellement vue par la camera el une 
image souhaitee drte de reference, en simplifiant ainsi considerablement la 
tache demandee a Foperateur. 

L'avantage de ia "commande referencee capteur" de robot est 
dorK; non seulement d'apporter une souplesse importante d rutilisateur 
dans sa tache de programmatton du rotxrt, mais aussi d'apporter enfin aux 
robots rautonomie et j'adaptabilrte qui leur font si cruellement de^uL En 
effet, les robots actuals ne peuvent travailler que sur des sequences 
repetitives apprises et pour lesquelles Penvironnement est fige. En cas de 
changements meme minimes de renvlronnement, par exempie une petite 
erreur de placement d'un composant lors d"une tache d' assemblage, les 
rot>ots actuels ne sont pas capables de s'adapter a ces situations 
nouvelles. La "commande referencee capteur" offre cette capadte 
d'adaptation puisque dans ce cas le robot 'Voit ce qu'il fait" et est dorx: 
capable de s'asservir automatiquement par rapport a un objet pour lequel a 
ete defini une image de reference. 

Le probieme general a resoudre est le calcui du deplacement 
d'un robot dote d'un capteur lorsqu'on connait a tout instant le signal 
desire, ou signal de reference, en position finale, ou position a atteindre, et 
le signal delivre par le capteur quand le robot est dans une position 
courante au voisinage de la position a atteindre. 

Plusieurs approches ont deja ete proposees dans la litterature 
pour traiter le probieme de la "commande referencee image" notamment : 

- un article de F. Chaumette, P. Rives. B. Espiau intitule 
"Positioning a robot with respect to an object tracking it and estimating its 
velodty by visual servoing". Proceedings of the 1991 IEEE International 
Conference on Robotics and Automation, pp.2248-2253, Sacramento, 
California, April 1991, 

- un article de LE. Weiss, 0. Sanderson, CP. Neuman intitule: 
"Dynamic sensor-based control of robots with visual feedback", IEEE 
Joumal of Robotics and Automation. Vol. RA-3, n' 5, pp.404-417, October 
1987, 

- un article de J.T. Feddema, O.R. Mitchell intitule "Vision- 
guided servoing with feature-based trajectory generaticMi", IEEE 
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Transactions on Robotics and Automation, VoL5, n* 5, pp.691700, October 
1989, 

- un article de P. Rives, F. Chaumette, B. Espiau intitule : "Visual 
servoing based on a task function app>roach". First International 
Symposium on Experimental Robotics, Montreal, Canada, June 1989. et 

- un article de C. Samson, M. Le Borgne, B.Espiau intitule : 
"Robot Control : The Task Function Approach", Oxford SderK» 
Publications, Oxford 1991. 

Toutes ces approches suivent plus ou moins le meme prindpe 
decrit ci-dessous. 

Tout d'atx)rd, un certain nomt>re de parametres sont determines 
hors asservissement, par les etapes telles que : 

- la definition de I'image de reference, consistant a choisir 
prealablement une image de reference de Tobjet ou de la scene vue par le 
robot qui constituera la dble a atteindre par le robot, i'image a obtenir par 
deplacement du robot 

- la selection des caracteristiques "Image" consistant, dans 
I'image de reference a isoler un nombre fini de caracteristiques (point, 
lignes remarquabies, etc.), 

- ia mcxieiisation 2D/3D consistant a identifier pour chacune de 
ces caracteristiques les coordonnees 2D dans I'image et les informations 
3D assodees dans la scene sur I'objet ou dans la scene observee par la 
camera du robot, 

- la calibration "robot/camera'' pour la determination du modele 
geometrique exact du robot et la position relative exacte de la camera par 
rapport au repere geometrique assode au robot, et 

- le calcul de la matrice jacobienne de ia tache d'assennssement 
obtenu a partir de relations geometriques entre les points caracteristiques 
3D de la scene, le rot>ot et ie capteur. 

Le calcul theorique du deplacement df, dans fimage, des 
coordonnees des points caracteristiques selectionnes en foTKlion du 
deplacement du robot dX peut etre alors efTectue a partir de la matrice 
jacobienne de ia tache d'assen/issement, par la formule suivante : 
= Jtache-dX (1) 
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En fait, c'est done ia detemiination de Tinverse de cette matrice 
^ache ^ interessante. de fagon a retrouver la commande a appliquer 
au robot iorsque la deviation image df est connue. 

Une fois ces donnees acquises, le processus d'asservissement 
5 visuel, ou "commande referencee capteur" se deroule suivant un processus 
iteratif, 

Le robot regoit un ordre de deplacement en fonction des 
deviations images. Une nouvelle image est alors acquise et a nouveau 
comparee a Timage de reference. Le robot est ainsi deplace jusqu'a 
10 convergence vers la position desiree. A chaque iteration, les operations 
suivantes doivent etre realisees : 

- une acquisition et un traitement de i'image courante, 

- une extraction des caracteristiques "images" et un appariement 
consistant, dans I'image acquise, a detecier les points caracteristiques et a 

15 les mettre en coirespondance avec les points selectionnes dans {'image de 
reference, et 

- un calcul du mouvement inverse qui a partir des differences 
entre les deux images, determine la commande a appliquer au robot par 
inversion de la matrice jacobiennne de la tache d'asservissement 

20 Les inconvenients lies a ce \ype d'approche iimitent la portee du 

concept de "commande referencee capteur" par le manque de fiabiiite de la 
methode, notamment du fait d'une grande sensibilite des phases de 
traitement de I'image et de I'appariement, par la lourdeur de mtse en 
oeuvre (necessite de modelisation de Pensemble scene, robot et camera). 

25 et par le faible cfiamp applicatif possible (necessite de voir des elements 
**fadlement reconnaissables" par un algorithme dans I'image observee). 
Ces inconvenients sont enumeres d-dessous : 
Les etapes de modelisation 20/3D et de calibration 
"robot/camera" exigent une bonne connaissance des positions 

30 geometriques relatives des drfferents constituents que sont le robot, la 
camera, et les caracteristiques 3D sur lesquelles rasservissement est 
realise. Cela ne p>eut etre obtenu que par des moyens demandant un effort 
important de modelisations et de calibrations qui sont des taches reputees 
fastidieuses et imprecises. 
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De plus, relape du cafcul theorique du jacxjbien de la tache 
limite le type de donnees caracteristiques pouvant etre utilisees a des 
primitives geometriques simples telies que des points, se^nents de 
droites, cerdes, ellipses etc., et qui sont definies localemenL En aucun 
5 cas elles ne peuvent etre etendues a des descripteurs globaux de Timage 
dont la determination est pourlant plus robuste. 

Les etapes rfacquisition et traitement de {'image courante, 
d'extraction des caracteristiques "images" et d'appariement sont les plus 
delicates et sont tres sensibles au bruit : le principe de la mSthode impose 

10 en effet la possibilite, et cela quelles que soient les conditions d'edairage, 
la position du robot par rapport a Tobjet, etc.... d'extraire dans Pimage vue 
par le robot les elements caracteristiques recherches, et de les apparier a 
ceux de I'image de reference. Toute erreur a ce niveau entralne 
generalement un echec de la methode. 

^5 En conclusion, la recherche d'une relation mathematique entre 

les mouvements du robot et les deviations observees dans Fimage, par 
rapport a un signal de reference, est un probleme non-lineaire diflRdle qui 
exige un important effort de modelisation et qui est generalement tres 
sensible aux algorithmes de traitement d'images utilises pour ['extraction de 

20 primitives. 

En complement de toutes ces approches, dirons nous 
dassiques, apparaissent de nouveaux procedes bases sur Texploitation de 
reseaux de neurones qui permettent de resoudre un certain nombre des 
problemes souleves. 

25 Les rrrformations recueillies par fe caiculateur et provenant du ou 

des capteurs montes sur fe robot sont traitees en temps reel en alimentant 
un reseau de neurones dont les sorties commandent le deplacement du 
robot Ce reseau aura prealablement ete entraine, cetle phase 
d'apprentissage dassique permettant de definir ses poids synaptiques a 

30 partir d'exemples correspondant generalement a des positions du robot 
proches de sa position de consigne. 

Mais, lorsque ce capteur est un capteur d'images, des 
inconvenients propres a ce procede subsistent : 
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II y a cf abord la contrainte cTeclairement de ia scene, 
eciairement qui doit etre superieur a une certaine valeur et qui doit d'autre 
part se rapprocher de {'edairement utilise lore de la phase d'apprentissage. 

Les caracteristiques propres de la scene peuvent rendre ie 
5 procede base sur une comparaison d'images moins robuste; ffaire de la 
superposition d'image est plus deiicat pour des images unifonnes, sans 
grand contraste. 

Le nombre d'exemples a apprendre par Ie r§seau de neurones 
peut etre reiativement important pour des scenes, des ofc)jets complexes. 
10 c'est a dire d forte variation d'apparence en fonction de Tangle de vue; 11 
s'agit par exemple d*obtets ayant un nombre tres eleve de facettes. Dans 
ce cas, la recherche de rimage identique est plus longue, le trartement plus 

complexe et le temps de reponse du rotK)t plus long. 

Le choix rfun vedeur f, permettant de definir ia position de 

15 rimage par ses coordonriees de points caracteristiques de rimage. ctoit etre 
renouveie pour cheque scene, c'est a dire chaque image de consigne, 
lorsque ces scenes sont tres differentes et ne comportent pas ces memes 
points caracteristiques. Les dimensions de vecteur peuvent etre 
importantes si I'on desire obtenir une bonne predsion, generant des 

20 caiculs longs et couteux. 

Le but de rinvention est de pallier tous ces inconvenients. A cet 
effet, ['invention a pour objet un procede de posittonnement d'un robot 
evoluant dans un espace en 3 dimensions dont la scene est visualisee par 
un capteur d'image solidaire du robot, caracterise en ce qu'un fTKrtif 

25 lumineux est prqjete sur la scene dans le champ du capteur. en ce que ia 
forme projetee du motif est fonction de la position relative du robot par 
rapport a la scene et en ce que le positionnement est realise par 
comparaison, en entier ou en partie, de la forme de ce motif de rimage 
courante a la forme finale du motif de I'image de reference correspondant a 

30 la |x>srtion recherchee, par I'intermediaire d'un reseau de neurones 
recevant en entrees, des informations relatives a ia forme projetee du motif 
acquise par le capteur. 

Le procede de positionnement ainsi caracteris6 conceme 
Texploitation d'images d'une scene generalement figee mais pouvant 

35 evoluer d'un positionnement du robot a {'autre et dont le point de vue qui 
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est la position du capteur tfimage, varie. La source lumineuse, soltdaire du 
caprteur, prpjette un motif sur la scene. La variation de la fbnne prpj^ee, 
lore du deplacement du robot, penmet d'asservir ce dernier a une forme 
particuliere du motif memorisee dans une image de refer«ice 
correspondant a la position de consigne. 

Les informations exploitees dans Pimage sont generalement les 
parametres rfun vecteur f, caracterisant la position de cette image, tfest a 
dire de la camera, dans la scene 3D. Le nombre de parametres. par 
exemple des descripteurs de Fourier, peut etre important lors dfxxn 
traitement d'image dassique. L'invention permet id de limiter le rK)mbre de 
parametres traites, fonction du motif iumineux chotsi et de la predsion 
souhaitee et done fadiiter le trartement d'i nfo rni a tions et la rapidite de 
calcul. Les algorithmes de traitement sont egalement simplifies. En effet, 
I'exploitation dassique de parametres intrinseques a la scene et dont le 
choix est toujours ^stidieux et diffidle est id supprime du fait que Ton 
intervient diredement dans la scene pour generer les parametres 
definissant le vecteur f, Ceux-ci sont independants de la scene choisie 
puisque fonction du motif projete. 

Le procede selon Tinvention est egalement plus robuste, du fait 
de la capadte d'extraction des informations liees a i'eclairage actif : 

- soit I'edairage de la scene peut etre contrdle et la separation 
des motifs Iumineux est assuree par reduction de I'edairage ambiant de la 
scene. 

- soit Tedairage n'est pas martrisable et rutilisation de lasers ou 
de filtres optiques assodes a la longueur tfonde de remission lumineuse 
ou meme de camera infra-rouge assurent Textradion de rinfbrmation utile. 
11 en decouie, lorsque ces 2 demieres solutions sont choisies, que 
rexploitation du robot devjent independante des conditions d'edairage 
ambiant et tfest la un autre avantage important 

Une description de differents exemples de realisation est faite d- 
apres a Paide des figures qui representent : 

- figure 1 , un robot avec camera et edairage actif, 

- figure 2. un support mecanique des sources lumineuses, 

- figure 3. les images correspondant a la position courante et la 
position de consigne du robot. 
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- figure 4, une chaine algorithmique de traitement des images 
expiortant ies barycentres, 

- figure 5, une deuxieme chaine algorithmique expioitant Ies 

descripteurs de Fourier, 

5 - figure 6. un robot avec camera et projection d'un nx>tif lumineux 

en forme de grille. 

- figure 7, une troisi^me chaine algorithmique expfoitant Ies 
moments geometriques, 

- figure 8, une quatrieme chaTne algorithmique exploitant la 
10 congelation. 

La figure 1 represente un robot 1 muni d'une camera 2 en bout 
d' articulation. Cette camera se trouve au centre d'une structure de forme 
carree ou cadre supportant 4 lasers 3, ceux-ci etant fixes au milieu de 

chaque cote du cadre. Les sources lumineuses definissent ainsi un motif 

15 lumineux correspondant a quatre taches aux sommets d'un carre, iorsque 
la surface de projection est perpendiculaire aux faisceaux laser paralleies. 
Ce motif projete sur la scene 4 est deforme par la surface sur iaquelie il est 
projete pour foumir une image 5. 

Le systeme, realisant une phase tfapprentissage, ne necessite 

20 pas un paralleiisme des faisceaux laser, le motif constitue des 4 poirrts 
pouvant etre quelconque. Les calculs sont cependant facilites si tel est le 
cas. c'est a dire si le motif est facilement identifiable. Le positionnement 
des lasers doit egalement tenir compte de Paxe optique et de la focaie de 
Tobjectif de la camera, de maniere a ce que les taches soient dans le 

25 champ de la camera dans la phase de mise en application du procede, 
c'est a dire au voisinage de la position de consigne du robot Cette focaie 
est d'ailleurs liee a la precision du disposttrf. 

Pour ce faire. la figure 2 detaille un exemple de cadre support 
de moyens de fixation 7 des lasers 8, fixation a 2 degres de liberte pour 

30 chacun d'entre eux, rotation autour de Taxe 9 et autour de I'axe 10, 
permettant de regler leur positionnement 

La figure 3 represente le robot 1 a sa position courante 1-1, la 
camera solidaire foumissant une image courante 5-1, puis a sa position de 
consigne 1-2, Fimage obtenue 5-2 etant alors Timage de reference. 
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La figure 4 represente ralgorithme de traitement de Pimage 
captee par ia camera fixee au robot et constituee par la prelection de ce 
type de motif iumineux. 

L'image est dans une premiere etape 11. captee par la camera 

5 par exemple de type CCD et transformee en signaux eiectriques pour 
foumir une image de gris. C'est par exemple une image de 512x512 pixels 
done constituee de 262 144 informatior^. 

Une deuxieme etape effectue un seuiliage 12 sur la luminance 
des pixels pour ne retenir que ceux superieurs a une valeur predeterminee. 
10 L'image binaire obtenue est traitee, dans Tetape 13. par recherche des 

composantes connexes; cette recherche consiste a attribuer a une zone les 
pixels connexes, cette zone connexe representant alors la surface d'une 
tache lumineuse dans Timage formee par la projection d'un faisceau laser 
sur la scene. 

15 Une quatrieme etape 14 realise le calcul du barycentre des 

pixels correspondant a la zone precedemment determinee. Lors de cette 
etape est done calcule le ''centre" de chacune des taches lumineuses, 
c'est a dire des coordonnees u et v de leur barycentre dans Pimage fbumie. 
Ce centre de la tache peut ne pas correspondre a un pixel. 

20 Ce caicui de l>arycentre est donne a titre d'exemple. II est en 

effet tout aussi possible, lors de cette etape et pour determiner un centre 
de tache, de realiser une convolution de l'image avec une tache 
parfaitement ronde, en prenant comme centre celui de cette tache lorsque 
son emplacement correspond au maximum de correlation avec la tache de 

25 l'image captee. 

L'etape 1 5 effectue un ordonnancement de ces centres, c'est a 
dire une affectation a chacun des lasers, p>ar exemple en les assoctant, lors 
du traitement, a chacun des quadrants de l'image pour constituer un 
vecteur f de dimension 8, dont les coordonnees sont les coordonnees u et 

30 V de chacun des centres des taches selon I'ordre defini. Ce vecteur 
caracterise Timage done le point de vue pour une scene fixe, done la 
position de la camera. 

f = (u1,v1 .U2,v2.u3.v3.u4,v4) 
Les etapes 16,17,18,19 et 20 sont en tout point identiques aux 
35 etapes 11 a 15 mais concement Timage de reference et non pas l'image 
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cxttjrante. Cette image de reference corresporKi a Timage de la scene 
visualisee par la camera lorsque ie robot est a sa posrtion de consi^ie, 
position recherchee. Le vecteur fp^ d§fini a partir de cette image de 
reference est done de meme dimension et ordonnance de la meme 

5 maniere que f et est compare en permanence au vecteur f lors de Tetape 
21. Cette etape effectue done une difference terme a terme entre ces 2 
vecteurs pour foumir. a Tetape 22, un vecteur df representarrt un signal 
d'erreur lie a Tecart de position du robot entre sa position reelle et la 
position finale desiree definie par Timage de reference. Ce signal cTerreur 
10 aiimente ensuite un reseau de neurones, chaque entree du reseau 
recevant un terme du vecteur drffererK», La sortie de ce reseau deltvre 
alors un vecteur deplacement au robot, comme ii sera vu plus loin, le 
reseau ayant tnrtialement subi une phase d*apprentissage dont le prirKspe 
est connu. La dimension des vecteurs f peut etre dffferente de 8. II est ainsi 
15 possible de n'explorter que 3 taches et done 3 lasers ou un nombre de 
taches superieur a 4. 

L'exploitation de ce procede r>ecessite evidemment que les 
points caracteristiques de Timage crees artifidellement, que constituent les 
taches lumineuses fbrm6es par les lasers, soient presents dans la scene et 
20 visualises par la camera et que le motif genere par ces points soH 
identifiable, Ainsi, lorsque les objets sur lesquels sont projet^es ces taches 
sont a forte discorrtinuite ou que, par exemple, un faible mouvement de la 
camera entraine une modification importante du motif et tfest ie cas 
lorsque une surface de projection evolue au voisinage rfun plan parallete 
25 au faisceau laser, la correlation avec le motif de reference peut etre 
delicate. II est alors preferable d"utiliser un motif lumineux plus COTiplexe, 
par exemple un motif a grille ou a ligne continue. Le princtpe du choix est 
de conserver un motif se defonmant de maniere continue lors du 
deplacement de la source lumineuse afin de fadliter la corresporKiance ou 
30 correlation avec Timage de reference. II ne faut pas que fempreinte du 
motif sur la scene se deforme "d*un seul coup" lors d*un petit d^lacement 
du robot Ced afin de toujours pouvoir "caracteriser" Pimage, c'est a dire 
reconnaltre les points caracteristiques pour reconstituer le vecteur f. Les 
informations intrinseques portees par Pempreinte , par exemple la position 
35 des lignes et des colonnes dans le cas tfun motif lumineux en forme de 
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grille, doivent etre cf autant plus nombreuses que la surfece sur laquelle est 
projete le motif lumineux est discontinue, afin de fadliter ia correlation. 

La realisation de ces motifs lumineux F>eut se faire d partir de 
mires de projecticm, source lumineuse autocollimatee assodee a un ecran 
5 ajoure selon le motif ^ projeter sur ia scene, cet **ajourage" pouvant etre 
realise electroniquement par Temploi d'eiements a cristaux iiquides. ii peut 
s'agir egalement d'un balayage particulier d'un ou piusieurs faisceaux laser 
ou rassocsation de lentilles semi-cylindriques de dispersion S ces lasers. 
D'une maniere generale, tout dispositif realise a partir d'une limiiere 
10 structuree, c'est d dire avec une source active d*eclairage penmettant de 
faire une empreinte sur la scene, convient 

L'explortation du procede precedemment decrit necessite d'autre 
part une mise en correspondance de points du motif, relativemertt fadle 
iorsqu'il s'agrt d'un motif constitue de queiques points mais source d'erreurs 
15 iorsque ce motif devient plus compiexe. 

Une solution a ces problemes est Tutilisation de desoipteurs 
globaux, reiatiis a une forme projetee fermee ou quelconque. L'image, en 
fart le motif projete, est caracterisee de maniere glot^ale, sans qu'il soit 
necessaire d*affecter les parametres aux sources lumineuses, de les 
20 ordonnancer. Ces descripteurs globaux pemnettent, quel que sort leur 
nombre, fixe, de toujours faire con^spondre des formes quelconques. 

Si le motif projete est une forme fermee, par exemple un cerde 
ou un carre, les descripteurs globaux les mieux adaptes sont les 
descripteurs de Fourier et le procede, en regard de ralgorithme represente 
25 en figure 5, est decrit d-apres. 

L'image courante captee par ia camera a i'etape 23 est seuiilee 
a I'etape 24. Uetape 25 effectue une extraction des contours, de maniere 
connue. C'est par exemple une extraction de regions avec selection des 
pixels les plus a f'exterieur, interieur ou au centre de la zone representant 
30 le motif ferme. Un calcul des descripteurs de Fourier est ensuite effectue a 
Tetape 26 a partir de cette nouvelle image. II s'agit, a partir des 
coordonnees d'un nombre N de points Um selectionnes sur le contour et 
equtdistants, c'est a dire du contour echantiilonne, de calculer N 
descripteurs de Fourier definis par : 
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avec Urn = + j Ym,. et etant les coordonnees du point 

Urn avec n variant de O a N*1 . 

On travaille done dans le plan compiexe. Sur les N parametres 
caicuies. on conserve 2K+1 parametres. sort n variant de 0 a K et de N-K a 
N-1, K etant un entier. Le choix de K corre^>ond tout simplement d un 
fiHrage. Diminuer K revient a realiser tin fittrage passe-bas. c^est a dire a 
"iisser'* la forme decrite lorsque Ton reconstitue, d partir des descripteurs 
selectionnes, cette forme dans le plan reel. Ainsi, a Fextreme. le choix du 
descripteur de plus basse frequence correspond au barycentre de la forme 
fennee, des deux descripteurs de plus basse frequence a un cerde et ainsi 
de suite en se rapprochant de plus en plus de la forme fermee initiale. 

L'interet d'exploiter des descripteurs de Fourier se trouve doTK: 
dans le fart qu'ils permettent une representation vectorielle de taille fixe, 
bien adaptee au nombre d'informations en entree du reseau de neurones 
qui doit etre constant, et cela en conservant la coherence dans les 
parametres a comparer entre rimage de reference et I'image courante. En 
tfautre termes, quel que soit le nombre choisi. les formes definies par ces 
descripteurs seront toujours comparables. le nombre etant lie a la 
precision. L'etape 27 selectionne les descripteurs basse frequence, ie 
nombre correspondant a celui des entrees du reseau de neurone. Ce 
nombre d'entrees sera done defini, a Torigine, en fonction de la precision 
souhaitee, puisque lie a un filtrage basse frequence, done a une perte 
d'informations. L'^tape 28 realise, d'une maniere cormue, une 
normalisation des descripteurs de Fourier : ie decalage du point de depart 
sur le contour agissant sur les descripteurs de Fourier, cette operation de 
normalisation permet de rendre les descripteurs nomialises invariants par 
rapport au point de depart chotsi. L'avantage est evident : si par exemple 
le traitement de I'image se fait en prenant, comme point de depart, le point 
le plus en haut a gauche de I'image de reference, ce point n'est pas 
forcement le meme que celui de I'image courante, pour laqueile 
I'orientation de la camera peut efre dtfferente. La comparaison des 
descripteurs simples necessiterart done une mise en corre^xvidance. 
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Grace au descripteurs de Fourier normalises, cette mise en 
corresporKlance, source de calculs et d'erreurs, n'est pas r^ecessaire. 
L'invariance par rapport au point de d^^ rend rordonnancement inutile. 

Les operations decrites aux etapes 23 a 28 et effectuees sur 
5 rimage courante sont realisees de la meme maniere sur Pimage de 
refererice, aux etapes 29 a 34. Mais id, le calcul de f^ef n'est realise qu'ixie 
fois sur i'image de reference et non pas poir chaque image cotraite. le 
resultat 6tant memorise. Le comparateur 35 effectue la comparaison des 
descripteurs de Fourier normalises de I'image de reference, constituant le 

1 0 vecteur f^ef memorise, avec ceux de rimage courante constituant le vecteur 
f. Le vecteur difference df, obtenu a I'etape 36 alimente Tentree du resemi 
de neurones par ses composantes. 

Lorsque les motrfs prpjetes ne sont pas des formes simples 
fermees mais des formes plus complexes, un algorithme de traitement base 

15 sur Fexploitation des moments geom^triques de Timage est utilise. Cette 
plus grande comple^dte permet de mieux caracteriser Timage de par le fait 
que le motif peut etre uniformement reparti sur la scene, et est done 
particulierement necessaire pour des scenes a structure complexe. 
irreguliere. II s'agit par exemple d'une grille formee de lignes et de 

20 colonnes, comme representee a la figure 6. La figure 7 schematise 

ralgorithme traitant ce type de motif lumineux. 

Apres prise en compte de I'image courante, c'est a dire 

traduction en signaux video de I'image de la scene et du motif prpjete sur 
elle, etaF>e 37, ces stgnaLix subissent un pretrattement a Petape 38. Ce 
25 pretraitement permet de reduire le nombre d* informations a traiter, dorx: 
d'acceierer le traitement dans son ensemble, par exemple en effectuant un 

seuillage de Timage comme explicite pr6cedemment. II peut egalement 

s'agir d'un calcul de gradient de luminosrte de rimage pour ne conserver 
que les pixels correspondant a un gradient superieur a une certaine valeur. 
30 Ce pretraitement permet aussi de s'affranchir du bruit qu'il soit video ou du 
a Tedairage, par exemple les reflexions parasites . L'etape 39 realise le 
calcul des moments geometriques de I'image courante observee, moments 
geometriques mp q rfordre p+q definis par la relation : 
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f(x,y) est la luminance du point de coordonnees x et y, I el c sont 
le nombre de lignes et colonnes de I'image, p et q sont des entiers. 

Par exennple, le calcul des moments geometriques tfordre 2 
pemiet de definir Paxe prindpai d'inertie de Hmage consideree . li y a me 

5 infinite de moments geometriques et, comme pour les descripteurs de 
Fourier, plus le nomt)re retenu est important, plus precise est Timage 
reconstituee a partir de ces moments geometriques. Id aussi, le rK>rTtf)re 
corresporuji a ceiui des entrees du r^seau de neurones. Le choix est 
effectue en selectionnant (done en calculant) les moments d'inertie tfordre 

10 faible. Ced permet d'evtter les amplifications importarrtes du bruit, cfest d 
dire des variations importantes des moments geometriques sur des 
fluctuations de la luminance dues au brutt Un minimum de 6 moments 
geometriques est requis. deux ou trois dizaines permettent cTobtenir une 
predsion sufHsante pour cette phase de positionnement du robot appelee 

15 positionnement grossier comme expiique plus loin. L'exploitation dune 
combinaison de ces moments geometriques, par exempte caracterisant le 
centre de masse, Taxe prindpai d'inertie ou ie rayon d'inertie de rimage 
traitee est generaiement preferee a une utilisation brute de chacun tfentre 
eux. Ces moments geometriques sont egaiement calcules sur Timage de 

20 reference lors des etapes 40 a 42, de la meme maniere que lors des 
etapes 37 a 39. 

Ces moments geometriques, composantes du vecteur f et f^ef 
sont compares termes a termes a Tetape 43 pour foumir les composantes 
du vecteur difference df a I'etape 44. Ce sont ces composantes qui 
25 alimentent le reseau de neurones. 

Ce descripteurs globaux permettent de limiter considerabiement 
le nombre d'informations a traiter. En centre partie, la fxedsion ,de 
positionnement obtenue lors de {'exploitation de ces descripteurs est moins 
bonne et depend essentiellement du nombre de descripteurs retenus, done 
30 du nombre d'entrees du reseau de neurones. 

Dans le t>ut de limiter ce nombre qui peut devenir tres important 
et done conduire a des calculs complexes pour les predsions 
generaiement souhaitees tout en conservant une t>onne predsion de 
positionnement, il est tres avantageux d'assoder le reseau de neurone 
35 precedemment dealt et recevant les descripteurs globaux a un rKXJveau 
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reseau de neurones recevant des informations provenant cfune correlation 
d'images. Le positionnement se realise alors en deux phases : 

- une premiere phase appelee positionriemefTt grosster el 

utilisant les desoipteurs giobaux pour un positionnement du robot au 

5 voisinage de la position de consigne c'est a dire selon une precision 
donn^, 

- une deuxieme phase appeiee positiormement fin, qui entre en 
application apres que le rotx>t art ete rapproche de la position finale a la 
precision donnee pres et qui met en oeuvre un deuxieme reseau de 

10 neurones. 

Cette deuxieme phase est explicitee a Paide de Torganigramme 
r^resente a la figure 8. 

L'etape 45 correspond a la saisie de I'image de reference 
definissant la position finale souhartee du robot Une etape 46 realise un 

15 chotx de fenetres caracteristiques dans cette image de reference. Ce choix 
peut etre realise manuellement par I'operateur qui, par exemple, pointe un 
marqueur correspondant au centre de la fenetre sur Timage de referer>ce. 11 
peut egaiement etre effectue de maniere automatique, par exemple a partir 
des parametres definissant le motif lumineux et permettant de calculer la 

20 position de points particuliers ou mesurant Pentropie de Pimage. Les 
positions de fenetres sont ensuite memorisees. Les parametres definissarrt 
ces positions torment les composantes du vecteur f^ef. Les fenetres 
correspondent preferentiellem^t a des points particuliers du motife 
lumineux, car, comme il sera vu plus loin, elles permettent la mise en 

25 correspondance de portions de I'image courante avec des portions de 
rimage de reference et la superposition est d'autant plus precise que le 
motif inclu dans la fenetre permet d'eviter les ambiguiles de 
positionnement par superposition, c'est a dire conflation. Ainsi un point est 
a preferer a une ligne , 2 ttgnes a 1 seule ligne, etc... Le nombre de 

30 fenetres choisies est au moins de 3. 

Le positionnement approximatif du robot ayant ete effectu^ lors 
de la phase precedemment decrite de positionnement grossier, Pimage 
courante visualisee par la camera est saisie lors de Petape 47. Elle est 
traitee a Petape 48 de maniere a ne prendre en compte que des zones de 
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recherche, de preference plus grandes que les fenetres caracteristiques, 
centrees sur ces fenetres selon les informations memorisees d Petape 46. 

L'etape suivante 49 effectue, dans chaque zone de recherche, 
une correlation avec la fenetre caracteristique provenant de I'etape 46 et 
correspondant a cette zor^ de recherche, par deplacement en x et y de 
cette fenetre. Le pic de correlation con^espond a la superposition, pas 
forcement parfaite, des motifs. L'etape 50 calcule la position de la fenetre 
caracteristique correspondant a ce pic de correlation, tfest a dire les 
parametres definissant sa position, par exemple les coordonnees du centre 
de la fenetre. Ce calcul est efTectue pour toutes les fenetres. Tensemble 
des parametres representant les composantes du vecteur f. Le 
deplacement en x et y de la fenetre caracteristique est generaiement 
suffisant pour effecluer la correlation. Un pretraitement de Pimage. lissage, 
seuiliage....poun~a etre realise. II est alors sous-entendu a Petape 45 el 47. 
Le nombre de fenetres doit etre au moins de trois p>our permettre de trarter 
les rotations d'Image. Les vecteurs f et f ref sent ensuite compares termes 
a termes a Tetape 51 pour foumir les composantes du vecteur dT a I'etape 
52. 

Le reseau de neurones appel^ n* 2, alimente par ces 
composantes. est different de celui n*! exploite par les descripteurs 
giobaux- Ce reseau de neurones n* 2 a egalement subi une phase 
d'apprentissage. Les exemples sont des images tres voisines du point de 
positionnement final du rotx)t 

La base de donnees correspond, pour moitie des exemples, a la 
phase de positionnement grossier, pour I'autre moitie, a la phase de 
positionnement fin. Mais cette base peut etre exploitee dans sa totaiite par 
le reseau de neurones n* 1 lie au positionnement grossier et toute autre 
repartition est possible. 

Les differentes operations necessaires au fonctiorviement du 
systeme complet, robot, camera, circuits de traitement algorithmique. 
reseaux de neurones, circuits de commande du robot sont decrites ci- 
apres. 

Le positionnement exact du robot, muni de sa camera solidaire, 
a sa valeur de consigne est realise lors d'une phase preparatoire. Les 
circuits de traitement algorithm ique calculent alors et memorisent le vecteur 
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fref correspondant au positionnement grossier. tfest ^ dire les moments 
geometriques de I'image de reference obtenus pour cette position, et le 
vecteur f^ef correspondant au positionnement fin, dest a dire les 

coordonnees des centres des fenetres caracteristiques choisies par 
Toperateur La position et les images des fenetres caractenstiques de 
rimage de refererYce sont egalement memorises pour etre transmis 
uiterieurement aux circuits de traitement algorithmique de Timage courante. 

La phase d'apprentissage realise le calcui des poids 
synaptiques du reseau de neurone n" 1, les sorties df etant alors reliees 
aux entrees de ce reseau de neurones. Les sorties du reseau, qui 
correspondent a une commande de depiacement du rotx)t pour une image 
d'apprentissage, sont comparees aux valeurs de depiacement necessaire 
du robot pour arriver a la position de consigne a partir de la posrton 
foumissant IMmage d'apprentissage. Cette erreur est exploitee pour ajuster 
le poids des neurones, par exemple selon Taigorithme dassique de 
retropropagation. Uapprentissage de ce reseau termine, les entrees du 
reseau de neurones n* 2 sont connectees aux sorties dT pour un 
apprentissage simiiaire de ce deuxieme reseau, les images 
d'apprentissage etant ici tres voisines de I'image de reference. 
L'apprentissage des 2 reseaux termine, le systeme est pret a fbrx::tionner. 
La phase active s'effectue alors en deux temps : 

1er temps : les entrees du reseau de neurones n*1 sont 
alimentees par les composantes du vecteur df et les sorties de ce reseau 
sont connectees au drcuit de commande du robot Ces sorties fbumissent 
les informations de depiacement qui positionnent le robot, en le 
rapprochant petit a petit de la position finale. Lorsque la vaieur de ces 
sorties devient inferieure a un seuil fixe, le passage au deuxieme temps 
s'effectue. 

2eme temps : le reseau de neurones n*1 est deconnecte. Le 
reseau de neurones n* 2 est connecte, pour ses entrees, aux sorties des 
drcuits de traitement algorithmiques foumissant les composantes des 
vecteurs dT, par ses sorties aux drcuits de commande du robot La 
camera est reliee a I'entree des drcxiits de traitement algorithmique d- 
dessus mentionnes et specifiques a cette phase de positionnement fin. qui 
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calculent le vecteur df . Les sorties du reseau de neurone n*^ cx>mmandent 
le robot jusqu'a sa posrtion finale. 

Les applications de ce procede de guidage et de positionnemenl 
d'un robot sont multiples. En robotique mobile, elies concement par 
5 exemple la condutte d'engins en convol groups : ie vehicule "roboT suiveur 
est asservi sur des points lumineux du vShicule le precedant points 
intrinseques au vehicule ou prpjetes par exemple par faisceau laser ou 
infrarouge a partir du vehicule suiveur. 

Elles concement tout type daide au posrtionnement tel que aide 
10 a Tattenissage d'helicx>ptere, aide a la navigation et au guidage d'engins 
en phase tenminale etc... 

En robotique industrielle, les applications sont les rotxjts 
d' assemblage de pieces, de saisie. de positionnement de composants ou 
meme d' inspection puisqu'il s'agit de comparer des motifs projetes sur des 
15 surfaces. 

En medecine, les applications sont Taide a la chirurgie assistee 
par ordinateun il s'agit par exemple du "recalage" d'un patient par rapport a 
une base de donnees pre-operatoire c'est a dire par rapport a de 
precedentes mesures effectuees sur ce patient II s'agit egalement de 
20 guidage d'outils. d'asservissement de micro-mecanismes.... 
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REVENDiCATIONS 

1 - Procede de positionnement tfun robot (1) evoluant dans un 
espace en 3 dimensions dont la scene (4) est visualisee par un capteur 
d'image (2) solidaire du robot (1), caracterise en ce qu'un motif lumineux 
est projete sur la scene dans le champ du capteur, en ce que la forme 
projetee du motn est fonrtion de la position reiauve du robot par rapport a 
la scene et en ce que le positionnement est realise par comparaison, en 
entier ou en partie. de ia forme de ce motif de I'image courante a la forme 
finale du motif de I'image de reference correspondant a la position 
recherchee, par Tintemnediaire d'un reseau de neurones recevant en 
entrees, des informations relatives a la forme projetee du motif acquise par 
le capteur. 

2 - Precede selon la revendication 1 , caracterise en ce que le 
motif lumineux (11,16) est un ensemble de taches lumineuses et en ce que 
les infomnations (22) transmises au reseau de neurones sont les 
differences, tenne a temie, entre les coordonnees des t>arycentres de ces 
taches dans Hmage de reference (19) et celles dans IMmage courante (14). 

3 - Procede selon la revendication 1, caracterise en ce que le 
motif lumineux (23,29) est una ligne fermee et en ce que les informations 
(36) transmises au reseau de neurones sont les differences, terme a terme, 
entre les descripteurs de Fourier choisis pour cette ligne dans rimage de 
reference (32) et leur equivalent (26) dans I'image courante. 

4 - Procede selon la revendication 1 , caracterise en ce que les 
informations (44) transmises au reseau de neurones sont les differences, 
temne a terme, entre les moments geometriques choisis pour le motif 
projete dans Timage de reference (42) et leur equivalent (39) dans Fimage 
courante. 

5 - Procede selon la revendication 1, caracterise en ce que la 
comparaison est effectuee par correlation de zones selectionnees, ou 
fenetres, (46) de I'image de reference (45) avec des zones de recherches 
(48) correspondantes dans Timage courante (47) en deplagant ces fenetres 
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de rimage de reference dans ces zones de recherche et en ce que Pecart 
mesure(52) entre ia position des fenetres dans rimage de reference et la 
position (49) de ces memes fenetres correspondant a un pic de correlation 
du nriotif pour la zone de recherche concemee. dans rima^ courante. 
5 alimente les entrees du reseau de neurones. 

6 - Precede de positionnement d'un robot (1), caracterise &\ ce 
qu'une premiere etape realise un positionnement grossier du rc^t en 
exploitant des descripteurs globaux de I'image selon le precede de la 

10 revendication 3 ou 4. les differences (36,44) alimentant un premier reseau 
de neurones dont les sorties commandent le positionnement du robot, et en 
ce qu'un deuxieme reseau de neurones est mis en oeuvre dans une 
deuxieme etape pour un positionnement fin du robot, les sorties de ce 
reseau commandant alors le robot, cette deuxieme etape exploitant le 

15 procede d'asservissement par correlation selon le procede de la 
revendication 5. 

7 - Robot (1) equipe d'au moins un capteur tfimages (2) 
caracterise en ce qu'il comporte une source lumineuse (3) solidaire du 

20 capteur d* image pour projetter, sur ia scene (4) observee par le capteur, un 
motif lumineux, et un circuit de traitement pour realiser rasservissement du 
robot par comparaison du motif courant projete sur la scene (5) au motif 
correspondant a une position de consigne par Tintermediaire d'au moins un 
reseau de neurone. 

25 

8 - Robot selon la revendication 7, caracterise en ce que la 
comparaison est effectuee sur les descripteurs de Fourier du motif 
lumineux. 

30 9 - Robot selon la revendication 7, caracterise en ce que la 

comparaison est effectuee sur les moments geometriques du motif 
lumineux. 

10 - Robot selon ia revendication 7, caracterise en ce que ia 
35 comparaison est effectuee par correlation tfau moins une zor>e du motif 
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definissant la position de consigne avec la zone cbiTBspk>ndante du rnotif 
courant prpjete. 
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